色の抽出

专利摘要:
画像信号を処理する方法は、フレームの連続を有する画像信号を受信するステップと、前記フレームの連続に渡って、複数の支配色を計算するステップと、前記画像信号のフレームのサブセットを選択するステップと、前記フレームのサブセットに渡って、複数の支配色を計算するステップと、前記フレームのサブセットの支配色と前記フレームの連続の支配色とを比較するステップと、前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定するステップとを有する。
公开号:JP2011510391A
申请号:JP2010542711
申请日:2009-01-12
公开日:2011-03-31
发明作者:マルク；エイ ペテルス
申请人:コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ；
IPC主号:G06T7-00

专利说明:

[0001] この発明は、画像信号を処理する方法及びシステムに関する。]
背景技術

[0002] 人々がテレビを観ること、及び、ＤＶＤ観賞等のビジュアルコンテンツを含む他のアクティビティに携わることは一般的である。斯様なビデオコンテンツの観賞に関するユーザ体験は、将来的に変化するだろう。第１のサインは、例えば、テレビ観賞の体験を強化するためにランプが追加される、フィリップスのテレビ製品において既に普及している。映画を観ること等の娯楽体験を増大させるために他のデバイス及び追加の機能を追加するというこのプロセスは、成長している。ベンチャー"amBX"（例えば、www.ambx.com参照）は、適切な増強アルゴリズムを用いてユーザに対して提供され得る効果的な記述を含む、オリジナルオーディオ／ビデオコンテンツと一緒に、スクリプトを再生することにより、テレビ観賞等の体験をもっと強化するために次のステップを準備している。ユーザの娯楽空間内の追加のデバイスは、ビデオコンテンツに増強を供給する。]
[0003] 例えば、米国特許公開第２００２６９８１７号明細書は、リアルワールド演出システムを開示しており、これは、デバイスのセットを有し、各デバイスは、１又はそれ以上のリアルワールドパラメータ、例えば、オーディオ及びビジュアル特性を供給するために設けられる。複数のデバイスのうち少なくとも１つのデバイスは、マークアップ言語の命令セットの形式でリアルワールド記述を受信するように設けられ、デバイスは、前記記述に従って動作される。前記言語において表された一般用語は、リアルワールド体験をユーザに対してレンダリングするようにデバイスを動作させるために、ローカルサーバ又は分配されたブラウザのいずれかにより解釈される。この手法において、スクリプトが配信され、これは、オリジナルコンテンツを配信するテレビと一緒に他のデバイスを制御するために用いられる。]
[0004] しかしながら、追加のデバイスにおいて追加の効果を生成するために用いられるスクリプトを記述することが必要である。記述プロセスを支援するために、多くのアプリケーションは、別の手法で手動で実行されるべきプロセスを自動化するためにコンテンツ解析を用いる。コンテンツの生成、例えばamBXスクリプトに関連して、十分訓練された作者は、フレーム毎に動画を調べて、１又はそれ以上の光の表示のような、追加の効果を開始／停止することを望む特定のフレームを選択する。これらの照明効果は、作者がビデオシーケンス中のもの（背景、爆発、オブジェクト）に適合する色をもつ。]
[0005] コンテンツ解析は、スクリプト作者に対して大きな利点を提供し得る。例えば、光が変化され得る時間的な作者位置を与えるショットカットが自動的に検出され得る。支配色は、サンプルフレームの選択又はショット中の各フレームに対して抽出され、この支配色から、特定のショット又は時間間隔における色にマッチする色のセットが提案され得る。後者の一例は、MPEG7支配色記述子を用いることであり、これは、フレームに対して８色までの色を与える。色を選択するための他の方法、例えばヒストグラムも用いられる。支配色は、作者に対して非常に良好な提案、特に高い出現率をもつものを与える。しかしながら、しばしば、それほどはっきりしていない色は、非常に特徴的であり得、視聴者を驚かせる効果を生成するために用いられ得る。しかしながら、現在のところ、スクリプト作者にこれらを提案するために、これらの関心のある色を検出することはできない。]
発明が解決しようとする課題

[0006] それ故、本発明の目的は、既知の技術を改良することにある。]
課題を解決するための手段

[0007] 本発明の第１の態様によれば、画像信号を処理する方法であって、フレームの連続を有する画像信号を受信するステップと、前記フレームの連続に渡って、複数の支配色を計算するステップと、前記画像信号のフレームのサブセットを選択するステップと、前記フレームのサブセットに渡って、複数の支配色を計算するステップと、前記フレームのサブセットの支配色と前記フレームの連続の支配色とを比較するステップと、前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定するステップとを有する、方法が提供される。]
[0008] 本発明の第２の態様によれば、画像信号を処理するシステムであって、フレームの連続を有する画像信号を受信するレシーバと、前記フレームの連続に渡って、複数の支配色を計算し、前記画像信号のフレームのサブセットを選択し、前記フレームのサブセットに渡って、複数の支配色を計算し、前記フレームのサブセットの支配色と前記フレームの連続の支配色とを比較し、前記フレームの連続における最も近い支配色から最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定するプロセッサとを有する、システムが提供される。]
[0009] 本発明の第３の態様によれば、画像信号を処理するための、コンピュータ読み取り可能な媒体上のコンピュータプログラムであって、フレームの連続を有する画像信号を受信する命令と、前記フレームの連続に渡って、複数の支配色を計算する命令と、前記画像信号のフレームのサブセットを選択する命令と、前記フレームのサブセットに渡って、複数の支配色を計算する命令と、前記フレームのサブセットの支配色と前記フレームの連続の支配色とを比較する命令と、前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定する命令とを有する、コンピュータプログラムが提供される。]
[0010] 本発明のおかげで、最も支配的な色の明らかな選択を越える間、作者にとって関心のあるシーケンス中の色を画像信号から自動的に抽出することが可能となる。本方法及びシステムは、ビデオシーケンスの所与の時間間隔に関して、その間隔中のフレームの色と全体のビデオシーケンスの色との比較は、全体のシーケンス中の支配的な色とは最も異なる、時間間隔中の色又は複数の色を見出す。これらの色は、注目に値する色であり、これらがシーケンスの支配色と異なるほど、これらがコンテンツ作者にとって関心のあるものになり、例えばamBXスクリプトにおいて驚くべき効果を作り出す。]
[0011] 一実施形態において、画像信号は、色情報を有するデータを更に有し、複数の支配色を計算するステップは、前記データにアクセスすることを含む。これは、例えばMPEG 7の色情報の形式の、画像信号内に存在するメタデータを用いることにより色の処理の自動化を提供する。これに対する代替手段は、複数の支配色を計算するステップが、フレームの色コンテンツの解析を実行することを含む。種々の方法は、例えば個々の色の画素数を用いることにより、画像フレームから色を抽出するために存在する。]
[0012] 有利には、それぞれの支配色は、三次元色空間中の表示を有し、フレームの連続における最も近い支配色からの最も大きな差分をもつ、フレームのサブセットにおける支配色を決定するステップは、それぞれの支配色に対してユークリッド距離を決定するステップを有する。]
[0013] 好ましくは、本方法は、フレームの連続における最も近い支配色から色についての最も大きな差分をもつ、フレームのサブセットにおける決定された支配色に関する値を生成するステップと、前記差分の範囲を規定するステップとを更に有する。連続するフレームのシーケンス内の注目に値する色を識別することに加えて、本方法及びシステムは、支配色からの差分の範囲に値を割り当てるように構成され、これは、自動化されたオーサリングプロセス等において用いられ得る。例えば、黄色が、フレームシーケンス中の最も注目に値する色として検出される場合には、黄色がシーケンス中でどれくらい注目に値するかとして、最も近い支配色からのユークリッド距離に関する値が返され得る。]
[0014] 本発明の実施形態は、添付図面を参照して、単なる例により説明されるだろう。]
図面の簡単な説明

[0015] 画像フレームの概略図である。
図１の画像フレームのための色テーブル及び色値である。
画像信号の概略図である。
画像信号の他の概略図である。
画像信号を処理する方法のフローチャートである。
図６ａ及び図６ｂは支配色及び色の比較を示す一対のテーブルである。
画像信号を処理するシステムの概略図である。] 図１ 図６ａ 図６ｂ
実施例

[0016] 画像フレーム内における色の問題を示すために、画像フレーム１０の一例が図１において示される。フレーム１０は、無地の背景上のトマトを示している。画像が黒及び白で再現される際には、フレーム１０内における３つの主要色（赤、青及び緑）にラベルが付される。図２は、それぞれの色値により、フレーム１０内の色を要約している。色値は、フレーム全体１０の割合として表わされるが、画素の数等の絶対値であってもよく、又は、１に規格化されてもよい。テーブルから見られるように、図１のフレーム１０の２％は黒であり、フレーム１０内の赤及び緑成分の輪郭を構成している。図中に示されたフレーム１０は、画像フレーム１０内の色の概念及び色値を明示するために、意図的に簡潔にされた。図２のテーブルに示された値は、フレーム１０内の色内容の解析を実行することにより計算され得るか、又は、フレーム１０の内容に関連する別個のデータから決定され得る。] 図１ 図２
[0017] 図３は、フレーム１０の連続１４を有し、各フレーム１０に関する色情報を有するデータ１６をも含む、画像信号１２を示している。フレーム１０の連続１４は、ビデオのシーケンスを構成する。例えばビデオを生成するために１秒あたり２５フレームを用いることが知られているので、フレーム１０の連続１４は、映画等のビデオコンテンツに対して非常に多くのフレーム１０を有するだろう。小さなセクションだけが図３に示されるが、本システムの原理は、画像フレーム１０の任意のシーケンスに対して動作する。] 図３
[0018] 全体のビデオシーケンス１４を表す支配色のセットを決定する必要がある。良い例はMPEG 7支配色記述子の平均であるだろう。MPEG 7支配色記述子は、フレーム１０を表す最大８色を与え、データ１６内に含まれる。複数のフレーム１０に対する色の斯様なセットの平均が計算され得る。例えばヒストグラムのような、連続１４中の支配色を表す他の方法が用いられてもよい。ビデオシーケンス１４の平均は、時間に渡るヒストグラムの平均として計算され得る。これは、図２に示されたものと類似のテーブルを生成するが、この場合において、テーブルは、フレーム１０の連続１４内のフレーム１０の全てに渡る複数の色及び色を表す。] 図２
[0019] 図２中のテーブルは、色を従来の色ラベル"赤"、"緑"等として示している。実際には、フレーム１０中の各画素は、ＲＧＢ値をもち、これは、（赤、緑及び青の３軸をもつ）色空間中のポイントを効果的に規定する。フレーム１０内の画素の色を決定するときには、ＲＧＢ要素のそれぞれが０〜２５５の大きさである場合に、取り得る２５６３の異なる色がフレーム１０中に存在する。フレーム１０中の色に対する合理的な結果を戻すために、ＲＧＢ値の範囲が用いられ、例えば、０〜２５５のそれぞれの大きさを１６のサブレンジ、０〜１５、１６〜３１等に分解する。これは、各画素が或る範囲内に配置されることを可能にし、異なる色の数を削減する。前記範囲の実際の色は、中間値であると考えられ、これは、前記範囲に入る全ての画素の十分に良い近似値を与える。フレーム１０内の支配色は、これらの範囲内において最も多くの画素をもつ範囲であると見なされる。] 図２
[0020] これは、支配色が画像フレームに対して計算され得る唯一の手法ではない。前記のこの方法論は、画像フレーム内の異なる色のヒストグラムを構築することに基づくものと見なされ得る（各ヒストグラムは規定された色範囲を表す）。支配色の決定は、ＲＧＢ値として、画像フレーム中のｎ個の最も多くの色を単純に返し得る（ｎは８であり得る）。これは、画素の実際のＲＧＢ値の周囲に基づいて支配色を決定し、ｎ個の最も共通に生ずるＲＧＢ値を単純に探す。]
[0021] 一旦、支配色がフレーム１０の全体的連続１４に対して計算されると、図４に示されるように、フレーム１０のサブセット１８の選択が行われる。この選択は、様々な異なる基準に基づいて行われてもよい。この選択は、ユーザ規定されてもよく、画像信号１２内の一部の内部基準の自動検出に基づいてもよい。例えば、サブセット１８により規定された特定の時間間隔は、映画内の１つのショットであってもよい。連続１４全体に対して前述された同一のプロセスは、フレーム１０のサブセット１８内の支配色（及びこれらの色値）を決定するために、このサブセット１８で用いられてもよい。一旦これが実行されると、その時間間隔１８の支配色と、全体シーケンス１４の支配色とを比較することが可能となる。これがMPEG 7支配色記述子の使用に基づく場合には、時間間隔１８に対して最大８色が存在し、全体シーケンス１４に対して最大８色が存在する。] 図４
[0022] 特定の間隔１８の支配色のそれぞれに関して、全体シーケンス１４の最も近い支配色までの距離を計算することが可能である。この距離の大きさは、知覚的に均一な色空間、例えばＬＵＶにおいて理想的に計算される。賢明な結果を確実にするために、距離が人間の知覚に意味をなすような手法で距離を比較することは意味がある。この比較プロセスの最終結果は、間隔における各支配色に対して、連続１４の平均支配色のセットにおける各色までの距離が存在することである。次に、サブセット１８中のどの支配色が、シーケンス１４に対する平均色のセットの最も近い支配色までの最大距離をもつかが決定される。これは、シーケンス１４の平均色から知覚的に最も遠いので、最も注目に値する色である。これは、図６を参照する以下の特定の例に関して説明されるだろう。]
[0023] 全体コンテンツ信号１２に関する、フレームシーケンス１８中の最も注目に値する色を決定するために画像信号１２を処理する方法が図５において要約される。本方法は、フレーム１０の連続１４を有する画像信号１２を受信するステップ（ステップＳ１）と、フレーム１０の連続１４に渡る複数の支配色を計算するステップ（ステップＳ２）と、画像信号１２のフレーム１０のサブセット１８を選択するステップ（ステップＳ３）と、フレーム１０のサブセット１８に渡る複数の支配色を計算するステップ（ステップＳ４）と、フレーム１０のサブセット１８の支配色とフレーム１０の連続１４の支配色とを比較するステップ（ステップＳ５）と、最後に、フレーム１０の連続１４中の最も近い支配色からの最も大きな差分をもつ、フレーム１０のサブセット１８中の支配色を決定するステップ（ステップＳ６）とを有する。] 図５
[0024] 図６は２つのサンプルテーブルを示し、図６ａは、図５のステップＳ２において計算されるような、画像信号１２の全体シーケンス１４のフレーム１０の平均支配色及びこれらの％値と、ステップＳ４において計算されるような、信号１２のサブセット１８のフレーム１０の支配色及びこれらの％値とを表す。下側のテーブル６ｂは、テーブル６ａの支配色の２つのセットの比較を示している。テーブル６ａにおいて、全体的連続１４の８の支配色はＭＤＣ値（映画支配色）であり、サブセット１８の８の支配色はＳＤＣ値（ショット支配色）である。] 図５ 図６ａ
[0025] seq1,…, seqnが全体ビデオシーケンス１４を表す色であり、c1,…, cmが特定の時間間隔を表す色である場合には、我々は、



においてcindexを最適化する色を探す。ここで、距離は、知覚的に均一な距離の大きさ、例えばＬＵＶ色空間におけるユークリッド距離である。更に、前記数式の値は、この色がどれぐらい注目に値するかに関する指標である。cindexから全体シーケンスの代表色までの距離が大きいほど、この色はより関心のあるものになる。]
[0026] テーブル６ａのＲＧＢ値は、ＬＵＶ値に変換され、これらのＬＵＶ値におけるユークリッドの差分は、テーブル６ｂに示される。効果的に、テーブル６ａ中の各色は、色空間中のポイントであり、テーブル６ｂ中の値は、各対のポイント間で描かれたラインの長さを表す。映画全体における８の支配色は、ショットにおける８の支配色と比較され、６４の異なる対のポイントを与える。テーブル６ｂの最終行は、ショットの色のそれぞれに対する最小値を示し、この最小は、映画の最も近い支配色のからの距離を表す。ＳＤＣ８は、最も近い映画の色からの最も大きな距離、最終行において５４．７３の値をもつことが見られる。これは、図５のステップＳ６により決定される色である。] 図５
[0027] 画像信号１２の処理の方法論は、よりフレキシブルな環境、例えばスライドウインドウに適用されてもよい。ビデオシーケンスは、他のパーツとは完全に異なる環境で発生する大きなパーツをもち、本プロセスは、これらが、全体のビデオよりもむしろビデオの一部の色との特定の間隔における色の比較になるように構成され得る。他の実施形態は、スライドウインドウと、それにもかかわらず第１のウインドウを含むより大きなスライドウインドウとを比較することである。これは、ショット内でさえ、小さな寸法上で注目に値する色を強調させる。規定された距離の大きさによれば、本プロセスは、非常に大幅に異なるこれらの色だけを返すだろう。これは、それほど関心のない色を取り除き、最も注目に値する色が最も関心のある可能性が高い時間インスタンスにだけフォーカスする自動化された方法を提供する。]
[0028] 図７は、画像信号１２を処理するためのシステムを概略的に示している。このシステムは、レシーバ２０及びプロセッサ２２を有する。本システムは、ハードウェアの専用要素として構成されてもよく、又は、図５において具現された方法を実行するための命令を有するコンピュータプログラムにおいて実行されてもよい。ビデオ信号１２は、プロセッサ２２により解析される。ブロック２４では、信号１２内のショットカットが検出される。映画領域におけるショットカットは、例えば内部ショットから外部ショットへのカメラの変化が用いられるときに効果的である。ショットカット検出はよく知られており、例えば米国特許第５６４２２９４号明細書において述べられている。同時に、並行して、ブロック２６では、信号１２のフレーム１０が支配色のために解析される。各ショットに対して、ショット内にあるものとして指定されたフレーム１０の全て（又はサブサンプルセット（sub-sampled set））に対する支配色を用いた全体支配色が決定される（ブロック２８）。同様に、映画全体の支配色を決定するために、プロセッサ２２が設けられる（ブロック３０）。各ショットに対して、支配色は、どれが平均（及び距離の範囲）から最も離れているかを識別するために、映画支配色と比較される（ブロック３２）。] 図５ 図７
[0029] 前記の記述は支配色の使用に言及している。カラーヒストグラムのような他の記述子が、信号１２の１又はそれ以上のフレーム内の色の色値を決定する手法として用いられてもよい。同様の手法において、ショット及びショットカットの使用は、信号１２内のフレーム１０のサブセット１８の選択の単なる一例である。amBX等の技術に関して、ショット毎に安定した色をもつことが有利である。しかしながら、前記技術が如何なる種類の間隔に対しても用いられ得ることは明らかである。従って、ショットカット検出は、ここでは一例に過ぎない。前述したように、ショット又は間隔の支配色を映画全体の支配色と比較するよりはむしろ、スライドウインドウ中の色と、より大きな重複ウインドウとを比較するために、このスライドウインドウを用いることが可能である。]

权利要求:

請求項1
画像信号を処理する方法であって、フレームの連続を有する画像信号を受信するステップと、前記フレームの連続に渡って、複数の支配色を計算するステップと、前記画像信号のフレームのサブセットを選択するステップと、前記フレームのサブセットに渡って、複数の支配色を計算するステップと、前記フレームのサブセットの支配色と前記フレームの連続の支配色とを比較するステップと、前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定するステップとを有する、方法。
請求項2
前記画像信号は、色情報を有するデータを更に有し、前記複数の支配色を計算するステップは、前記データにアクセスするステップを含む、請求項１に記載の方法。
請求項3
前記複数の支配色を計算するステップは、前記フレームの色内容の解析を実行するステップを含む、請求項１に記載の方法。
請求項4
各支配色は、三次元色空間中の表示を有する、請求項１〜３のうちいずれか一項に記載の方法。
請求項5
前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定するステップは、各支配色に対するユークリッド距離を決定するステップを有する、請求項４に記載の方法。
請求項6
前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける決定された支配色に関連する値を生成するステップと、前記差分の範囲を規定するステップとを更に有する、請求項１〜５のうちいずれか一項に記載の方法。
請求項7
画像信号を処理するシステムであって、フレームの連続を有する画像信号を受信するレシーバと、前記フレームの連続に渡って、複数の支配色を計算し、前記画像信号のフレームのサブセットを選択し、前記フレームのサブセットに渡って、複数の支配色を計算し、前記フレームのサブセットの支配色と前記フレームの連続の支配色とを比較し、前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定するプロセッサとを有する、システム。
請求項8
前記画像信号は、色情報を有するデータを更に有し、前記プロセッサは、前記複数の支配色を計算するときに、前記データにアクセスする、請求項７に記載のシステム。
請求項9
前記プロセッサは、前記複数の支配色を計算するときに、前記フレームの色内容の解析を実行する、請求項７に記載のシステム。
請求項10
各支配色は、三次元色空間中の表示を有する、請求項７〜９のうちいずれか一項に記載のシステム。
請求項11
前記プロセッサは、前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定するときに、各支配色に対するユークリッド距離を決定する、請求項１０に記載のシステム。
請求項12
前記プロセッサは、前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける決定された支配色に関連する値を生成し、前記差分の範囲を規定する、請求項７〜１１のうちいずれか一項に記載のシステム。
請求項13
画像信号を処理するための、コンピュータ読み取り可能な媒体上のコンピュータプログラムであって、フレームの連続を有する画像信号を受信する命令と、前記フレームの連続に渡って、複数の支配色を計算する命令と、前記画像信号のフレームのサブセットを選択する命令と、前記フレームのサブセットに渡って、複数の支配色を計算する命令と、前記フレームのサブセットの支配色と前記フレームの連続の支配色とを比較する命令と、前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定する命令とを有する、コンピュータプログラム。
請求項14
前記画像信号は、色情報を有するデータを更に有し、前記複数の支配色を計算する命令は、前記データにアクセスする命令を含む、請求項１３に記載のコンピュータプログラム。
請求項15
前記複数の支配色を計算する命令は、前記フレームの色内容の解析を実行する命令を含む、請求項１３に記載のコンピュータプログラム。
請求項16
各支配色は、三次元色空間中の表示を有する、請求項１３〜１５のうちいずれか一項に記載のコンピュータプログラム。
請求項17
前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける支配色を決定する命令は、各支配色に対するユークリッド距離を決定する命令を有する、請求項１６に記載のコンピュータプログラム。
請求項18
前記フレームの連続における最も近い支配色からの最も大きな差分をもつ、前記フレームのサブセットにおける決定された支配色に関連する値を生成する命令と、前記差分の範囲を規定する命令とを更に有する、請求項１３〜１７のうちいずれか一項に記載のコンピュータプログラム。